![Amazon Connect Contact Lensで、通話後とリアルタイムの文字起こし精度を確認してみた[2024年7月]](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-a14da8621c55bd17addadcead8e0e00f/c928a36480d9593938e8d8f65ba92537/amazon-connect)
Amazon Connect Contact Lensで、通話後とリアルタイムの文字起こし精度を確認してみた[2024年7月]
2024.07.09はじめに
2024年7月時点におけるAmazon Connect Contact Lensの文字起こし精度について検証を行いました。
近年、AIを活用した文字起こし技術の進歩により、コンタクトセンターにおける音声の文字起こしへの需要が高まっています。
Amazon Connectの機能の1つであるAmazon Connect Contact Lensは、Connectでの通話内容をもとに、機械学習による会話分析が可能なサービスです。文字起こしも可能です。
Amazon Connect Contact Lensでは、以下の2つのパターンでの文字起こしが可能です。
- 通話後の文字起こし
- 通話が終了し、通話後作業 (ACW) が完了した後に通話記録を分析します。文字起こし精度が最も高くなります。
- リアルタイム文字起こし
- 通話中にリアルタイムで文字起こしされます。
今回は、発話を音声で録音し、その録音を用いて2パターンの文字起こし精度を確認します。
Connectフロー
検証で作成したConnectフローは、以下の通りです。
「記録と分析の動作を設定」ブロックでは、通話記録と音声分析を有効にします。
「通話後の分析」と「リアルタイムおよび通話後の分析」の２つが選択肢としてありますので、検証では２つを確認します。
音声分析を有効にするには、エージェントと顧客の双方の通話記録が必要です。片方の音声のみでは文字起こしはできません。
検証結果
生成AIを用いてコールセンターでよくある会話のテキストを作成し、それを発話して録音したものをもとに文字起こし精度の検証しました。
精度は、主観で以下の3つに分類して評価します。
- ◯：発話内容と文字起こし内容が一致している
- △：発話内容と文字起こし内容で、異なる部分があるがおおよそ内容は伝わる
- ✕：発話内容と文字起こし内容で、異なる部分があり、内容が異なる
以下は2024年7月4日時点での精度検証結果です。
通話後の文字起こし
| 発話内容 | 文字起こし内容 | 精度評価 |
|---|---|---|
| 先日注文した商品がまだ届かないのですが。 | 先日注文した商品がまだ届かないのですが | ◯ |
| 申し訳ございません。お客様のご注文番号を教えいただけますでしょうか。 | 申し訳ございません。お客様のご注文番号を教えていただけますでしょうか？ | ◯ |
| 請求書の金額が間違っているようなんですが。 | 請求書の金額が間違っているようなんですが | ◯ |
| 大変失礼いたしました。ご請求内容を確認させていただきます。お客様の会員番号をお願いできますか。 | 大変失礼いたしましたご請求内容を確認させていただきます。お客様の会員番号をお願いできます | ◯ |
| 商品の返品方法を教えてください。 | 商品の返品方法を教えてください。 | ◯ |
| かしこまりました。返品の理由は何でしょうか？また、購入日を教えいただけますか？ | かしこまりました返品の理由は何でしょうか？また、購入日を教えていただけますか？ | ◯ |
| インターネットの接続が遅いんです。何か対処法はありますか？ | インターネットの出場が遅いんです。何か対処方法はありますか？ | ✕ |
| お困りのところ申し訳ございません。まずは、モデムの再起動をお試しいただけますでしょうか。 | お困りのところ申し訳ございません。まずは、モデルの再起動をお試しいただけますでしょうか。 | ◯ |
| アカウントのパスワードを忘れてしまいました。 | アカウントのパスワードを忘れてしまいました。 | ◯ |
| ご不便をおかけして申し訳ございません。セキュリティ確認のため、お客様のお名前と生年月日をお伺いできますか？ | ご不便をおかけして申し訳ございません。セキュリティ確認のため、お客様のお名前と生年月日をお伺いできますか。 | ◯ |
| 新しい料金プランについて詳しく知りたいのですが。 | 新しい料金プランについて詳しく知りたいのですが | ◯ |
| はい、喜んでご説明させていただきます。現在ご利用のプランはどちらでしょうか？ | はい喜んでご説明させていただきます。現在、ご利用のプランはどちらでしょうか？ | ◯ |
| 商品の使い方がよくわかりません。 | 商品の使い方がよく分かりません。 | ◯ |
| 申し訳ございません。具体的にどの部分でお困りでしょうか？商品名も教えいただけますと幸いです。 | 申し訳ございません。具体的にどの部分でお困りでしょうか。商品名を教えていただきますと幸いです。 | ◯ |
| 予約をキャンセルしたいのですが。 | 予約をキャンセルしたいのですが | ◯ |
| 承知いたしました。お客様のお名前と予約日時を教えいただけますでしょうか？ | 承知いたしましたお客様のお名前と予約日時を教えていただけますでしょうか。 | ◯ |
| ポイントの有効期限はいつまでですか？ | ポイントの有効期限はいつまでですか。 | ◯ |
| ポイントの有効期限についてお問い合わせありがとうございます。お客様の会員番号を教えていただけますか？ | ポイントの有効期限についてお問い合わせありがとうございます。お客様の会員番号を教えていただけますか。 | ◯ |
| 製品の保証期間について教えてください。 | 製品の医療機関について教えてください。 | ✕ |
| かしこまりました。お客様がお持ちの製品の型番を教えいただけますでしょうか？ | かしこまりましたお客様が、お持ちの製品の型番を教えていただけますでしょう。 | ◯ |
おおよそ正しく文字起こしされています。句読点もついてます。
ただし、変換ミスやそもそも文字起こしされない部分もあることが分かりました。
リアルタイム文字起こし
| 発話内容 | 文字起こし内容 | 精度評価 |
|---|---|---|
| 先日注文した商品がまだ届かないのですが。 | 先日注文した商品がまだ届かないのですが。 | ◯ |
| 申し訳ございません。お客様のご注文番号を教えいただけますでしょうか。 | 申し訳ございません。お客様のご注文番号を教えていただけますでしょうか？ | ◯ |
| 請求書の金額が間違っているようなんですが。 | 請求書の金額が間違っているようなんですが。 | ◯ |
| 大変失礼いたしました。ご請求内容を確認させていただきます。お客様の会員番号をお願いできますか。 | 大変失礼いたしましたご請求内容を確認させていただきます。いつも会員番号をお願いできました。 | ✕ |
| 商品の返品方法を教えてください。 | 商品の返品を教えてください。 | △ |
| かしこまりました。返品の理由は何でしょうか？また、購入日を教えいただけますか？ | かしこまりました。返品の理由は何でしょうか。また糖尿病を教えていただけました。 | ✕ |
| インターネットの接続が遅いんです。何か対処法はありますか？ | インターネットの必要が遅いんです。何か対処方法はありますか？ | ◯ |
| お困りのところ申し訳ございません。まずは、モデムの再起動をお試しいただけますでしょうか。 | 周りのところ申し訳ございません。 モデルの再起動試し頂けますでしょうか。 | △ |
| アカウントのパスワードを忘れてしまいました。 | カウントのパスワード忘れてしまいました。 | △ |
| ご不便をおかけして申し訳ございません。セキュリティ確認のため、お客様のお名前と生年月日をお伺いできますか？ | をおかけして申し訳ございません。セキュリティ確認のために、お客様のお名前と生年月日をお伺いできますか？ | △ |
| はい、喜んでご説明させていただきます。現在ご利用のプランはどちらでしょうか？ | はい喜んでご説明させていただきます。現在、ご利用のプランはどちらでしょうか？ | ◯ |
| 商品の使い方がよくわかりません。 | 商品の使い方がよく分かりません。 | ◯ |
| 申し訳ございません。具体的にどの部分でお困りでしょうか？商品名も教えいただけますと幸いです。 | 申し訳ございません。具体的にどの部分でお困りでしょうか。商品名も教えて頂きますと幸いです。 | ◯ |
| 予約をキャンセルしたいのですが。 | 予約をキャンセルしたいのですが。 | ◯ |
| 承知いたしました。お客様のお名前と予約日時を教えいただけますでしょうか？ | 承知いたしました。お客様のお名前と予約日時を教えていただけますでしょうか。 | ◯ |
| ポイントの有効期限はいつまでですか？ | ポイントの有効期限はいつまでですか？ | ◯ |
| ポイントの有効期限についてお問い合わせありがとうございます。お客様の会員番号を教えていただけますか？ | ポイントの有効期限についてお問い合わせありがとうございます。お客様の会員番号を教えていただけますか？ | ◯ |
| 製品の保証期間について教えてください。 | 製品の保証期間について教えてください。 | ◯ |
| かしこまりました。お客様がお持ちの製品の型番を教えいただけますでしょうか？ | かしこまりました。お客様がお持ちの製品の型番を教えていただけますでしょうか。 | ◯ |
通話後の文字起こしには劣りますが、リアルタイムでの文字起こしも比較的精度は高いと思います。
固有名詞
今回の検証では、専門用語や地名などの固有名詞は含めていません。ただし、固有名詞の文字起こし精度が低い場合、Contact Lensにはカスタム語彙という機能があります。
固有名詞などの単語をカスタム語彙として追加することで、認識精度の向上につなげることができます。
追加方法は以下の記事をご参照ください。
最後に
本検証により、Amazon Connect Contact Lensの文字起こし機能は、2024年7月時点で十分に実用的な精度を有していることが確認できました。
予想以上に文字起こしの精度が高いという印象を受けました。
今後、進歩に伴いさらなる精度向上が期待されます。
文字起こし機能を利用することで、管理者からのフィードバックやメモ作成などの作業時間が削減でき、顧客満足度の向上やコンタクトセンターの生産性向上につながります。ぜひ、この機能をお試しください。
参考ドキュメント
![[登壇資料]DevelopersIO 2024 in FUKUOKAで「顧客体験・従業員体験向上のためのAmazon Connect活用術」というタイトルで登壇しました #devio2024 #クラスメソッド福岡](https://devio2024-media.developers.io/image/upload/v1719919871/user-gen-eyecatch/chpzmqboexz3vw8xmjvq.png)
![[コンタクトセンターのカスハラ対策] Amazon Connectで通話中のカスハラワードをトリガーに、上司へ通知する仕組みを作ってみた](https://devio2023-media.developers.io/wp-content/uploads/2023/08/amazon-connect.png)
